"Förlåt, men jag förstod inte riktigt" : En jämförelse avmetoder för avsiktsklassificering tillämpad på social robotik

An important feature in a social robot is the ability to understand natural language. One of the core components in a typical system for natural language understanding (NLU) is so called intent classification; the action of classifying user utterances based on the underlying intents of the user. Previous research on intent classification has mainly been performed on dialogues very different from what can be expected in social robotics. There, dialogues are of a more social nature with utterances often being very short or highly context dependent. It has also been performed under the assumption that all test utterances do indeed belong to one of the predefined intent classes. This is often not the case in an actual application where the user cannot be expected to know the limitations of the system. In this thesis, a number of intent classification methods are evaluated based on how they perform on two tasks: classifying utterances belonging to one of the predefined classes and identifying utterances that are out of scope. For this, three different datasets are used: two existing intent classification datasets and one that was collected as part of this project and that is more typical for dialogues in social robotics. The methods being evaluated are support vector machine (SVM), logistic regression, the intent classifier in the NLU platform Snips, and the neural language model BERT. For SVM and logistic regression, two different feature representation techniques are used: bag-of-words (BoW) with and without tf-idf weighting, and pre-trained GloVe embeddings. Based on the results of these evaluations, three main conclusions are drawn: that simple methods are usually to be preferred over more complicated ones, that out-of-scope detection needs further investigation, and that more datasets typical for different kinds of applications are needed. BERT generally performs the best on both tasks, but SVM and logistic regression are not far behind with pre-trained word embeddings performing no better than BoW and Snips no better than simple classifiers. Previous research on out-of-scope detection is very limited and the results obtained here give no clear indication of what is the overall best approach or what performance is to be expected in different settings. Finally, the intent classification and out-of-scope detection performances differ a lot between different datasets, making representative datasets a necessity for drawing conclusions about expected performance in specific applications.En viktig egenskap hos en social robot är förmågan att förstå naturligt språk. I ett typiskt system för automatisk språkförståelse är en av huvudkomponenterna så kallad avsiktsklassificering som går ut på att klassificera användaryttranden utifrån avsikten bakom det. Den forskning som tidigare gjorts inom ämnet har sällan behandlat dialoger av social natur där dialoger kan vara långa men med många korta yttranden där kontexten är helt avgörande för att avsikten ska förstås. Olika metoder har också framförallt utvärderats under antagandet att alla testyttranden tillhör någon av de givna klasserna, vilket inte är realistiskt för en faktisk tillämpning där användarna inte kan förväntas veta systemets begränsningar. I det här arbetet utvärderas ett antal metoder för avsiktsklassificering utifrån två aspekter: hur bra de presterar på klassificering av yttranden som tillhör någon av de givna klasserna, samt hur bra de är på att känna igen yttranden som inte gör det. Detta görs på tre olika dataset; två existerande dataset för avsiktsklassificering och ett som samlats in som en del av det här arbetet och som är mer typiskt för just social robotik. De specifika metoder som utvärderas är stödvektormaskin (SVM), logistisk regression, avsiktsklassificeraren i dialogplattformen Snips, samt den neurala språkmodellen BERT. För att representera yttranden som vektorer för SVM och logistisk regression används dels en räknebaserad representationsteknik (så kallad ”bag-of-words”, BoW) med och utan tf-idf-viktning, dels förtränade GloVe-ordinbäddningar. Utifrån de erhållna resultaten dras tre huvudsakliga slutsatser: att enklare metoder oftast är att föredra framför mer avancerade, att det behövs mer forskning på avsiktsklassificering där vi förväntar oss att vissa yttranden inte hör till någon av klasserna, samt att det behövs fler dataset som är representativa för olika typer av tillämpningar. BERT presterar överlag bäst utifrån båda aspekterna, men övertaget i förhållande till SVM och logistisk regression är litet. Dessutom presterar oftast BoW lika bra som förtränade ordinbäddningar och enkla klassificerare bättre än Snips. Den forskning som tidigare gjorts utifrån den andra aspekten är väldigt begränsad och resultaten som presenteras här ger inga entydiga svar på vilka metoder som är att föredra eller vilken prestanda som kan förväntas. Det är också stora skillnader i hur väl de olika metoderna presterar på olika dataset, vilket gör det tydligt att det behövs fler, mer varierade dataset för att kunna dra slutsatser kring hur väl de kan förväntas prestera inom en specifik tillämpning